Tên của thị trấn được đặt theo núi Đối, tên của hai ngọn núi trên địa bàn thị trấn và xã Thanh Sơn. Sở dĩ có tên là núi Đối vì hai ngọn núi nằm ở vị trí đối nhau và cao xấp xỉ nhau. Hiện trên núi còn lưu giữ nhiều di tích kháng chiến như hầm, lô cốt, hào lũy... Từ trên núi Đối có thể nhìn thấy được toàn cảnh của thị trấn. Dưới chân núi có chùa Khánh Đối. Núi Đối được phủ xanh bởi một khu rừng đặc dụng gồm thông và keo tai tượng. Nhiều loài động vật như cáo, vượn bạc má, chồn... đã được người dân xung quanh Núi Đối bắt được.

Thị trấn Núi Đối có diện tích 1,12 km2, dân số là 3.395 người, nằm dọc theo hai bên bờ sông Đa Độ. Có một con đường bắc ngang qua sông nối liền hai phía của thị trấn, gọi là đường Tắc Giang. Thị trấn còn có công viên Dương Kinh nằm bên sông Đa Độ.